Cu li bắt nguồn từ tiếng Hindustan là qulī (क़ुली, قلی), tự nó có lẽ có nguồn gốc từ tiếng Thổ Nhĩ Kỳ Ottoman để chỉ nô lệ (hoặc như là tên gọi chung để chỉ mọi thần dân của đế quốc không phụ thuộc vào địa vị xã hội), قول (qul).[5] Một diễn giải khác cho rằng từ qulī trong tiếng Hindustan có nguồn gốc từ bộ lạc thổ dân Gujarati hay đẳng cấp được biết đến như là kuli, một từ được người Bồ Đào Nha vay mượn và sử dụng nó tại miền nam Ấn Độ, từ đó mà có từ kuli trong tiếng Tamil.[6] Từ này đã từng được sử dụng theo ý nghĩa này để chỉ những người lao động chân tay đến từ Ấn Độ. Năm 1727, Dr. Engelbert Kämpfer mô tả "cu li" là các lao động phổ thông trên bến tàu làm việc dỡ hàng từ các tàu buôn của Hà Lan tại cảng Nagasaki ở Nhật Bản.[7][8]

Từ tiếng Trung 苦力 (bính âm: kǔlì) phiên âm là "khổ lực" trong cách phát âm Quan Thoại, theo nghĩa đen là "sức lực cay đắng" nhưng nói chung được hiểu như là "lao động cực nhọc". Trong tiếng Quảng Đông, thuật ngữ này là 咕 喱 (Jyutping: Gu lei). Từ dùng để chỉ một nô lệ châu Á.[cần dẫn nguồn] Thành ngữ Philippines tại Pangasinan "makuli" cũng bắt nguồn từ qulī (क़ुली, قلی), một chứng cứ về ảnh hưởng của Ấn Độ tới Đông Nam Á biển đảo trước khi người Tây Ban Nha đến đây.

Ở miền nam Iran (một số thành phố) từ này được sử dụng với nghĩa là người lao động cấp thấp làm công nhật. Cu li đặc biệt được dùng với người lao động thực hiện mang vác trên lưng của họ hoặc làm lao động thủ công. Từ "cool" trong khu vực đó là tiếng lóng giữa người dân địa phương dùng để chỉ lưng con người.